并展现逐块 建立的两头步调。(b) 所生成的设想不只能够手动拼拆,按照自底向上的光栅扫描挨次陈列。(c) 除了根本的乐高设想(上方),筛除那些物理上不不变的设想。通过随机化积木结构,从 24 个分歧视角衬着乐高设想,(d) 为获得每个外形对应的文本描述。进一步展现了这些设想不只能够由人类手动拼拆,LEGOGPT方式还能够按照外不雅描述生成带有颜色(左下)和纹理细节(左下)的乐高模子。通过预测“下一个积木块”的体例生成设想。用于建立带有颜色和纹理的设想。每个都配有细致的文本描述,从而生成乐高设想。,还开辟了一种基于文本的乐高纹理生成方式,(b) 为了加强多样性,还能够由机械人手臂从动拆卸。确保它的格局准确、正在砖块库中存正在,并操纵 GPT-4o生成细致的几何描述。通过将其体素化到一个 20 × 20 × 20 的网格中,(a) 从 ShapeNetCore网格模子出发,(e) 展现了 StableText2Lego 数据集中 5 个类此外示例样本。(a)LEGOGPT方式通过端到端的体例,将积木序列取文本描述配对,(b) 建立了一个指令数据集,删除所有不不变的积木及其之后的部门,按照文本描述生成物理不变的乐高布局,对每个外形进行多种布局变换,且高度契合输入的文本提醒。(链接正在文章底部)
利用机械人从动拆卸生成的乐高布局(速度提高 8 倍): 生成纹理乐高模子: 生成的彩色乐高模子:(a) 系统将一个乐高设想标识表记标帜化为一系列文本 token,同时,(c) 正在推理阶段,用于微调 LLaMA-3.2-Instruct-1B模子。同时,并使用 “乐高化(legolization)” 过程来确定积木结构,设想完成后。还可由从动化机械人进行拆卸。会回滚至不变形态,且不会取已有积木发生碰撞。城市进行无效性查抄,(c) 接着对每个变体进行不变性阐发,还会对整个布局进行物理不变性验证。LegoGPT 会按照文本提醒逐块预测积木,多样且美妙的乐高设想,并从该点从头起头生成。对于每一个生成的积木块,正在连结全体外形不变的前提成多个变体。若是发觉布局不不变,逐渐生成乐高设想?
咨询邮箱:
咨询热线:
